Invariance of the Response Processes Between Gender and Modes in an Assessment of Reading

In this paper, we developed a method to extract item-level response times from log data that are available in computer-based assessments (CBA) and paper-based assessments (PBA) with digital pens. Based on response times that were extracted using only time differences between responses, we used the bivariate generalized linear IRT model framework (B-GLIRT, [1]) to investigate response times as indicators for response processes. A parameterization that includes an interaction between the latent speed factor and the latent ability factor in the cross-relation function was found to fit the data best in CBA and PBA. Data were collected with a within-subject design in a national add-on study to PISA 2012 administering two clusters of PISA 2009 reading units. After investigating the invariance of the measurement models for ability and speed between boys and girls, we found the expected gender effect in reading ability to coincide with a gender effect in speed in CBA. Taking this result as indication for the validity of the time measures extracted from time differences between responses, we analyzed the PBA data and found the same gender effects for ability and speed. Analyzing PBA and CBA data together we identified the ability mode effect as the latent difference between reading measured in CBA and PBA. Similar to the gender effect the mode effect in ability was observed together with a difference in the latent speed between modes. However, while the relationship between speed and ability is identical for boys and girls we found hints for mode differences in the estimated parameters of the cross-relation function used in the B-GLIRT model

From byproduct to design factor: on validating the interpretation of process indicators based on log data

International large-scale assessments such as PISA or PIAAC have started to provide public or scientific use files for log data; that is, events, event-related attributes and timestamps of test-takers’ interactions with the assessment system. Log data and the process indicators derived from it can be used for many purposes. However, the intended uses and interpretations of process indicators require validation, which here means a theoretical and/or empirical justification that inferences about (latent) attributes of the test-taker’s work process are valid. This article reviews and synthesizes measurement concepts from various areas, including the standard assessment paradigm, the continuous assessment approach, the evidence-centered design (ECD) framework, and test validation. Based on this synthesis, we address the questions of how to ensure the valid interpretation of process indicators by means of an evidence-centered design of the task situation, and how to empirically challenge the intended interpretation of process indicators by developing and implementing correlational and/or experimental validation strategies. For this purpose, we explicate the process of reasoning from log data to low-level features and process indicators as the outcome of evidence identification. In this process, contextualizing information from log data is essential in order to reduce interpretative ambiguities regarding the derived process indicators. Finally, we show that empirical validation strategies can be adapted from classical approaches investigating the nomothetic span and construct representation. Two worked examples illustrate possible validation strategies for the design phase of measurements and their empirical evaluation

From byproduct to design factor. On validating the interpretation of process indicators based on log data

International large-scale assessments such as PISA or PIAAC have started to provide public or scientific use files for log data; that is, events, event-related attributes and timestamps of test-takers\u27 interactions with the assessment system. Log data and the process indicators derived from it can be used for many purposes. However, the intended uses and interpretations of process indicators require validation, which here means a theoretical and/or empirical justification that inferences about (latent) attributes of the test-taker\u27s work process are valid. This article reviews and synthesizes measurement concepts from various areas, including the standard assessment paradigm, the continuous assessment approach, the evidence-centered design (ECD) framework, and test validation. Based on this synthesis, we address the questions of how to ensure the valid interpretation of process indicators by means of an evidence-centered design of the task situation, and how to empirically challenge the intended interpretation of process indicators by developing and implementing correlational and/or experimental validation strategies. For this purpose, we explicate the process of reasoning from log data to low-level features and process indicators as the outcome of evidence identification. In this process, contextualizing information from log data is essential in order to reduce interpretative ambiguities regarding the derived process indicators. Finally, we show that empirical validation strategies can be adapted from classical approaches investigating the nomothetic span and construct representation. Two worked examples illustrate possible validation strategies for the design phase of measurements and their empirical evaluation. (DIPF/Orig.

Controlling speed in component skills of reading improves the explanation of reading comprehension

Efficiency in reading component skills is crucial for reading comprehension, as efficient subprocesses do not extensively consume limited cognitive resources, making them available for comprehension processes. Cognitive efficiency is typically measured with speeded tests of relatively easy items. Observed responses and response times indicate the latent variables of ability and speed. Interpreting only ability or speed as efficiency may be misleading because there is a within-person dependency between both variables (speed-ability tradeoff [SAT]). Therefore, the present study measures efficiency as ability conditional on speed by controlling speed experimentally with item-level time limits. The proposed timed ability measures of reading component skills are expected to have a clearer interpretation in terms of efficiency and to be better predictors for reading comprehension. To support this claim, this study investigates two component skills, visual word recognition and sentence-level semantic integration (sentence reading), to understand how differences in ability in a timed condition are related to differences in ability and speed in a traditional untimed condition. Moreover, untimed and timed reading component skill measures were used to explain reading comprehension. A German subsample from Programme for International Student Assessment (PISA) 2012 completed the reading component skills tasks with and without item-level time limits and PISA reading tasks. The results showed that timed ability is only moderately related to untimed ability. Furthermore, timed ability measures proved to be stronger predictors of sentence-level and text-level reading comprehension than the corresponding untimed ability and speed measures, although using untimed ability and speed jointly as predictors increased the amount of explained variance. (DIPF/Orig.

Automated and controlled processes in comprehending multiple documents

The study investigates automated and controlled cognitive processes that occur when university students read multiple documents (MDs). We examined data of 401 students dealing with two MD sets in a digital environment. Performance was assessed through several comprehension questions. Recorded log data gave indications about students\u27 time allocation, corroboration, and sourcing. Independent measures were used for reading speed to tap the effects of automatic processing and for working memory and single-text reading comprehension to tap effects of controlled processing, with working memory considered the mental capacity for performing controlled processing. We found that faster readers completed the MD tasks faster and showed more corroboration behavior. At the same time, students skilled in comprehension allocated more time to processing MD tasks and were more likely to show MD-specific behaviors of corroboration and sourcing. Students\u27 success in MD tasks was predicted by reading speed and working memory, with the effect of working memory being mediated by single-text comprehension. Behavioral indicators contributed independently in predicting students\u27 MD comprehension. Results suggest that reading MDs resembles a problem-solving situation where students need to engage in controlled, non-routine processing to build up a comprehensive representation of MDs and benefit from highly automated, lower-level reading processes. (DIPF/Orig.

Applying psychometric modeling to aid feature engineering in predictive log-data analytics. The NAEP EDM Competition

The NAEP EDM Competition required participants to predict efficient test-taking behavior based on log data. This paper describes our top-down approach for engineering features by means of psychometric modeling, aiming at machine learning for the predictive classification task. For feature engineering, we employed, among others, the Log-Normal Response Time Model for estimating latent person speed, and the Generalized Partial Credit Model for estimating latent person ability. Additionally, we adopted an n-gram feature approach for event sequences. Furthermore, instead of using the provided binary target label, we distinguished inefficient test takers who were going too fast and those who were going too slow for training a multi-label classifier. Our best-performing ensemble classifier comprised three sets of low-dimensional classifiers, dominated by test-taker speed. While our classifier reached moderate performance, relative to the competition leaderboard, our approach makes two important contributions. First, we show how classifiers that contain features engineered through literature-derived domain knowledge can provide meaningful predictions if results can be contextualized to test administrators who wish to intervene or take action. Second, our re-engineering of test scores enabled us to incorporate person ability into the models. However, ability was hardly predictive of efficient behavior, leading to the conclusion that the target label\u27s validity needs to be questioned. Beyond competition-related findings, we furthermore report a state sequence analysis for demonstrating the viability of the employed tools. The latter yielded four different test-taking types that described distinctive differences between test takers, providing relevant implications for assessment practice. (DIPF/Orig.

Entwicklung und Skalierung eines Tests zur Erfassung des Verständnisses multipler Dokumente von Studierenden

Das Verständnis multipler Dokumente (Multiple Document Comprehension, MDC) wird als Fähigkeit verstanden, aus verschiedenen Informationsquellen eine integrierte Repräsentation eines inhaltlichen Gegenstandsbereichs zu konstruieren. Als solche ist sie sowohl für die erfolgreiche Bewältigung eines Studiums als auch für gesellschaftliche Partizipation eine wichtige Kompetenz. Bislang gibt es jedoch kein etabliertes Diagnostikum in diesem Bereich. Um diese Lücke zu schließen, wurde ein Test entwickelt, der vier zentrale kognitive Anforderungen von MDC abdeckt und auf Basis der Daten von 310 Studierenden sozial- und geisteswissenschaftlicher Fächer überprüft wurde. Die im MDC-Test gemessene Kompetenz erwies sich als eindimensional. Der MDC-Testwert wies theoriekonforme Zusammenhänge mit der Abiturnote, dem Studienabschnitt und der Leistung in einer Essay-Aufgabe auf. Insgesamt liefern die Ergebnisse empirische Belege dafür, dass der Testwert aus dem MDC-Test die fächerübergreifende Fähigkeit von Studierenden wiedergibt, multiple Dokumente zu verstehen. (DIPF/Orig.)Multiple document comprehension (MDC) is defined as the ability to construct an integrated representation based on different sources of information on a particular topic. It is an important competence for both the successful accomplishment of university studies and participation in societal discussions. Yet, there is no established assessment instrument for MDC. Therefore, we developed a test covering four theory-based cognitive requirements of MDC. Based on the data of 310 university students of social sciences and humanities, the MDC test proved to be a unidimensional measure. Furthermore, the test score was related to the final school exam grade, the study level (bachelor / master), and the performance in an essay task. The empirical results suggest that the score of the MDC test can be interpreted as the generic competence of university students to understand multiple documents. (DIPF/Orig.

Demands and cognitive processes in reading digital text

Der Aufbau des World Wide Web hat enorm dazu beigetragen, Wissen zu strukturieren, aufzubereiten und verfügbar zu machen. Die Art und Weise, wie Texte im Web miteinander in Verbindung stehen, kann jedoch das Lesen und Textverstehen stark beeinflussen. Die Dissertation „Demands and Cognitive Processes in Reading Digital Text“ untersucht daher individuelle kognitive Prozesse, die mit der Informationsverarbeitung beim Lesen digitaler Texte einhergehen. Hierzu wird im ersten Teil der Arbeit kurz in die Unterschiede zwischen linearen und nicht-linearen Text (sog. Hypertext) eingeführt. Hypertexte zeichnen sich dabei durch eine verzweigte Verbindungsstruktur zwischen einzelnen Textteilen (engl. nodes) aus. Diese Textteile sind untereinander durch Hyperlinks verbunden, über die sie angesteuert werden können. Das Auswahlprofil, in denen einzelne Textteile aufgerufen werden, wird hierbei als Navigationsverhalten bezeichnet. Entsprechend dieser Unterscheidung werden die Begriffe des linearen und digitalen Lesens eingeführt. Lesen ist nach konstruktivistischer Auffassung ein aktiver Prozess des Lesenden, in dem er ein propositionales Modell eines Textes mental erarbeitet und mit Wissen und Erfahrungen zu einem Situationsmodell anreichert. Digitales Lesen erfordert aber, dass Leserinnen und Leser neben dem eigentlichen Leseprozess zusätzliche kognitive Ressourcen aktivieren, um mit den besonderen Eigenschaften von Hypertext angemessen umzugehen. Anhand eines Prozessmodells digitalen Lesens wurden zwei Forschungsfragen abgeleitet, die im zweiten Teil der Arbeit vorgestellt werden. Die erste Forschungsfrage konzentriert sich auf die Identifikation kognitiver Fähigkeiten, die das digitale Lesen konstituieren. Im Konkreten wurden Hypothesen über die Zusammenhänge digitalen Lesens mit (1) Lesefähigkeiten auf Wort-, Satz- und Textebene, (2) Arbeitsgedächtnisfähigkeiten, (3) Fähigkeiten, Online-Informationen hinsichtlich ihrer Passung für bestimmte Leseaufgaben zu bewerten, und (4) basalen Fähigkeiten im Umgang mit Computerumgebungen formuliert. Daran anknüpfend thematisiert die zweite Forschungsfrage, wie die angenommenen Beziehungen des digitalen Lesens mit seinen Konstituenten erklärt werden können. Hierzu wurde insbesondere die Informationsauswahl, die Lesende durch ihr Navigationsverhalten treffen, als zentrale vermittelnde Variable betrachtet. Zur Beantwortung der beiden Forschungsfragen wurden drei Studien herangezogen, die im dritten Teil der Arbeit zusammengefasst dargestellt werden. In diesen Studien wurden kognitive Prozesse des digitalen Lesens mit Hilfe von Daten aus der Nationalen Begleitforschung zur Einführung computerbasierten Assessments (CBA) im Programme for International Student Assessment (PISA) 2012 untersucht. Die erste der drei Studien konzentriert sich auf die Rolle, die das Arbeitsgedächtnis beim Lesen digitaler Texte einnimmt. Die zweite Studie behandelt Einflüsse von ICT-bezogenen Fähigkeiten. Als ICT-bezogene Fähigkeitsvariablen wurden basale Computerfähigkeiten sowie Fähigkeiten zur kritischen Bewertung von Online-Informationen hinsichtlich ihrer Relevanz und Nützlichkeit betrachtet. Die Bewertung von Online-Informationen und ihre Auswahl von Ergebnisseiten aus Suchmaschinenabfragen (engl. search engine result pages) werden in der dritten Studie als Spezialfall digitalen Lesens herausgegriffen und gesondert betrachtet. Hierbei wurde untersucht, welche Rolle Lesefähigkeiten auf der Wort-, Satz- und Textebene bei der Bewertung von Online-Informationen einnehmen. Im abschließenden vierten Teil der Arbeit werden grundlegende kognitive Prozesse der Informationsverarbeitung digitalen Textes diskutiert. Zusammengefasst zeigten die drei Studien, dass fähige Leser zielorientierter aufgabenrelevante Texte identifizieren und verarbeiten können. Schülerinnen und Schüler profitierten dabei von effizienten Arbeitsgedächtnisfunktionen – unabhängig davon, ob sie gute Leser waren oder nicht. Defizite des Arbeitsgedächtnisses wurden durch einen strategischen Umgang mit der Hypertextumgebung kompensiert. Das Textverstehen wurde zudem indirekt durch routinierte Fertigkeiten im Umgang mit Computern und direkt durch Fähigkeiten zur Bewertung von Online-Informationen unterstützt. Es wurde geschlussfolgert, dass kompetente Leser in der Lage sind, ihre kognitiven Ressourcen effizient zu verteilen. Als Resultat der gemeinsamen Betrachtung der drei Studien erscheint digitales Lesen als komplexes Fähigkeitsgemisch. Dieses beruht auf allgemeinen Lesefähigkeiten, auf einer effizienten Allokation kognitiver Ressourcen, auf der strategiegetriebenen Vorhersage von Informationen und auf rudimentären Fertigkeiten im Umgang mit Computerumgebungen. Dabei beschreibt digitales Lesen kein neues, aber ein zeitgenössisches Konstrukt, das sich als Reaktion auf aktuelle individuelle und gesellschaftliche Informationsbedürfnisse entwickelt hat und sich entsprechend der fortschreitenden technischen Weiterentwicklung verändern wird

Althergebrachte Kulturtechnik in neuer Umgebung. Gute Lesefähigkeiten unterstützen das Filtern von Suchmaschinen-Ergebnissen

In der heutigen Zeit bieten Suchmaschinen wie Google, Bing und Yahoo! einen schnellen Zugang zu online verfügbaren Informationen. Welche der Suchmaschinen-Treffer jedoch von Schülerinnen und Schülern als brauchbar erachtet werden, hängt unter anderem von ihren Lesefähigkeiten ab. Der Beitrag berichtet von den Ergebnissen einer Studie des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF) zusammen mit der Goethe-Universität Frankfurt am Main. (DIPF/Orig.